12 PianoSyncAR: Enhancing Piano Learning through Visualizing Synchronized Hand Pose Discrepancies in Augmented Reality

Liu Ruofan（東工大），Erwin Wu（Huawei Japan），Chen-Chieh Liao（東工大），西岡 勇人，古屋 晋一（Sony Computer Science Laboratories），小池 英樹（東工大）

https://scrapbox.io/files/656589c2d403de001bf30594.png

論文：

要旨：

運動の技能習得において, 学習者が自身の動作と目標の動作との時間的及び空間的な差分を認識し学習することが一般的である. しかし, 自由度の高い緻密な動作では, これらの差分を正しく理解し修正することが困難である. 特に洗練されたスキルを持つ中上級者の場合では, より細かな修正やさらなる上達を求められるため, この問題は顕著となる. 本研究では, ピアノの学習における体の動きを効率よく最適化するための拡張現実(AR)システム「PianoSyncAR」を提案する. 提案システムは, 教師の手の姿勢を学習者の手に重畳表示している. ユーザ実験では, １２人のピアニストを対象としてシステムの有用性を評価する. その結果, 映像ベースのスキル学習方法である従来のタブレット画面に対して提案システムにはいくつかの利点が示され, ピアノ演奏の技術向上のための補助的なツールとしてARトレーニングの可能性を示している.

国際学会・国際論文誌名：

ISMAR2023

参加者メモ・コメント：

キーの検出に midi data では無くわざわざ PD 使ってるのはレイテンシの為？

Thanks for the above answer! Actually, except for different hand sizes, there're even various stylistic in a same piece played by the same pianist, like play it gently or intensely. As such, I would say their poses uniformity would be not enough and the range of the motion would be large. To address this problem, in the future, we envision to build a pianists' dataset containing diverse performance, like styles, performers etc. (LIU)

Very interesting direction. I haven't thought the bad body postures will lead to incorrect hand poses. We do have current-conducting research about the whole body postures. Maybe we can combine these two systems, and users're supposed to show the correct hand and body postures, right?

質疑応答：